策略梯度估计中的基线项与分数中心化
🧭 RLHF/策略梯度估计·重要性采样
University of Illinois Chicago · Perplexity AI
用 reward 与 importance-weighted score 的协方差替代正则化 IS 策略梯度，厘清 group-mean baseline 与 score centering 的不同作用
📌 工作参考价值（4 点）
- 在电商/Agent 的 LLM RLHF 后训练中，若用 sequence-level PPO/GRPO 且 ratio 被 clip，直接用 batch 内 mean reward 作为 group-mean baseline 即可，不必再对 importance-weighted score 做额外 centering，降低实现复杂度。
- 若采用 token-level advantage（细粒度 reward/PPO），当 importance ratio 被 truncation/masking/clipping 时，必须对 importance-weighted score 做 score centering（减去总体均值，可用 moving average 估计），否则策略梯度会带偏置。
- 建议把梯度写成 Cov(reward, weighted_score) 而非单纯加权 reward；该形式天然对 constant reward shift 稳健，适合离线异步训练中 stale policy 的纠偏。
- 序列级 IS 下 score centering 无额外收益，token 级 IS 下则是必要修正；实现前先确认 reward/advantage 的粒度再决定是否引入 score centering。
用可验证信息奖励训练多智能体协作 LLM
🧭 多智能体协作训练 · 可验证信息奖励 ★ 深度解读
Arizona State University · University of Houston · The Ohio State University · Johns Hopkins University
提出 CoSIR，在可验证评分表环境中用团队 surprisal 减少作为信息奖励，训练 LLM 分享/请求/使用信息，迁移到 7 个未见协作任务
📌 工作参考价值（4 点）
- 在多 Agent 搜推系统中，不要只用最终点击/转化奖励整条对话；可在离线、信息完全可知的沙盒中构造“商品属性/用户特征分散在不同 Agent”的任务，用信息增益（如对正确排序结果的团队后验概率提升）作为消息奖励，训练 Agent 主动分享缺失特征、请求关键信息。
- 奖励分配要细粒度到 span/属性级：对消息中的实体-属性-值三元组做解析和验证，只有正确且有依据的分享给正奖励，重复、编造给惩罚，避免有效信息和话术得到相同信号。
- 多智能体协作训练容易损耗通用能力，可加 reference-model KL penalty 和回放通用 prompt 数据；在业务模型上做专项协作微调时尤其重要。
- 评估 Multi-Agent 系统时，除了最终业务指标，引入 MAST 这样失败分类（忽略队友输入、未澄清、验证缺失），定位瓶颈是信息共享还是信息利用，再进行针对性训练。
用价值表示预测对齐泛化
🧭 LLM对齐泛化预测 · 价值表示
Carnegie Mellon University · Mila - Quebec AI Institute · McGill University · ETH Zurich · University of British Columbia
建立对齐泛化预测任务，激活表示比文本描述更准（ρ=0.45 vs 0.05），并构建首个经验价值分类
📌 工作参考价值（4 点）
- 电商/广告场景下，通过 RLHF/DPO 对齐业务目标（如用户满意度、多样性）时，可构建类似“对齐泛化矩阵”：对每个业务指标微调小模型，测量对其他指标的行为影响，用激活表示预测目标间冲突，提前识别相互干扰。
- 该方法用模型在应用特定策略/价值观时的隐层激活作为 embedding，比直接用文本描述效果好得多（ρ=0.45 vs 0.05）。在 Agent 或多任务推荐模型中，可采集策略提示下的激活构建“业务目标向量”，用于度量策略相似性、辅助多目标权重设计。
- 论文发现多价值对齐目标中价值相似度与模型鲁棒性显著相关。实际可借鉴该指标评估多业务指标组合的冲突程度，避免训练目标过窄导致线上行为漂移。
- 跨模型共享价值空间的初步证据支持构建统一目标表示：如召回、粗排、精排等多个模型协同的推荐系统，可用相同“业务价值向量”对齐不同模型的行为，提升整体一致性。注意预测精度仍有限（ρ=0.45），适合作为粗筛或辅助决策工具。
弱到强泛化的 On-Policy 反向蒸馏方法
🧭 弱到强泛化蒸馏训练方法
KAIST AI · Microsoft · University of Toronto · Mila · Université de Montréal
用 On-Policy Reverse Distillation 放大教师策略偏移分量，实现弱到强泛化且不施加教师容量上限
📌 工作参考价值（3 点）
- 模型迭代中利用旧模型知识：电商推荐/搜索排序模型升级（如从精排小模型到 LLM-based ranker）时，旧模型可作为弱教师，用 OPRD 思路在 on-policy rollouts 上计算教师策略偏移，加速新模型训练且避免继承旧模型容量上限，减少全量 RL 成本。
- 多域/多业务模型融合：广告、推荐、搜索多场景有各自模型，可作为多教师进行蒸馏，OPRD 的多教师扩展可能比直接加权蒸馏更高效；结合 verifier（如业务指标奖励模型）过滤教师更新方向，只放大与 verifier 一致的教师指导，防止负迁移。
- Agent 策略训练：在 LLM Agent 或生成式推荐策略优化中，实施 on-policy 蒸馏：用学生自我生成 rollout 评估教师策略位移，仅对 verifier 支持的方向放大梯度，保持策略优化不动点，可避免教师过度约束导致模式坍缩。
RISE：通过自外推策略蒸馏实现递归自改进
🧭 LLM 后训练 · RLVR 自外推蒸馏 ★ 深度解读
Salesforce AI Research
RISE 外推模型自身 RLVR 轨迹构造 token 级教师，实现递归自蒸馏，无需外部模型或特权条件
📌 工作参考价值（4 点）
- 对点击/转化/完成率等稀疏 reward 训练的推荐、搜索、对话/导购 Agent 策略，可以借鉴 RISE 的两阶段循环：先做一轮 GRPO/RLVR 得到 θ'，再把 θ' 与 anchor 的位移按 β 外推成“未来教师”，用 token 级蒸馏把稀疏 outcome 信号转成稠密监督；尤其适合多轮 Agent 的延迟奖励场景。
- 落地优先用 logit-space 外推：不物化 teacher 参数，只需缓存 anchor 与 post-RLVR 的 top-K logits（K=100，代码类可 K=20）并加 tail bucket；复用 RLVR rollouts，不增加采样成本，整体约 1.3–1.6× wall-time。
- 超参上建议 β0=1.2 并随训练线性衰减到 1；anchor 用 EMA（η=0.1）平滑更新方向，对噪声大的小模型或稀疏 reward 环境更稳；若 RLVR 单步方向已稳定可退回 previous checkpoint anchor。
- 必须有 reward grounding：去掉 RLVR 阶段仅外推自身位移会导致训练崩溃（MATH-500 掉到 2.4%，输出长度爆炸）；因此若业务 reward 可被 hack，需先保证 reward 质量或增加不确定性约束。
从生产流量到后训练：构建覆盖企业请求的自托管 LLM
🧭 LLM 后训练 · 模块化 RL 与权重合并 ★ 深度解读
T-Tech
以模块化 GRPO 专家 + 两阶段 SLERP 融合替代联合多目标 RL，32B 模型在内部流量上超越约 7 倍参数基线并承接 50% 请求
📌 工作参考价值（4 点）
- 模块化 RL + 权重合并：在电商 Agent/工具调用/指令遵循等多目标后训练中，不要把所有 reward 联合训练；按能力轴独立 GRPO，再 SLERP 合并。新增能力只需训练一个专家、做 eval-only 融合系数搜索，避免重复调联合超参。
- 多语言 Function Calling 数据：不要直接翻译英文 FC 数据，要基于业务 API schema 原生生成（含本地语言参数值）；对 over-calling 可通过在训练数据里注入 synthetic irrelevance 抑制，而不是只改 reward。
- 面向线上真实流量构建离线 benchmark：用模板感知采样（mask 变量 token、LSH 分组、√count 预算）避免模板流量造成的伪多样性；评测按任务类型路由，分类/抽取用 reference verifier，开放生成用人工校准的 checklist judge，可显著提升评测与人工一致度。
- 自托管部署成本：32B 非 reasoning + FP8 vLLM 可覆盖大多数企业流量，较 235B 级别模型降低 2.8-3.9 倍 token 成本，适合做统一底座；但前沿 agentic 能力需保留大模型兜底。
先验证再蒸馏：提示级教师门控的在线策略蒸馏
🧭 On-policy distillation 教师门控 ★ 深度解读
AllSpark Team
通过 verifier 探针按 prompt 门控教师信号，可靠才用稠密 OPD，否则退回 verifier-grounded GRPO
📌 工作参考价值（4 点）
- 蒸馏 / 生成式推荐中不要无条件信任 teacher：可对 teacher 生成的候选或软标签加一道低成本验证。用与最终 reward 一致的验证器（业务规则、点击 / 转化标签、代码单测等）采 KT=3 个样本，按 prompt 级通过率决定是否采用 teacher 信号；不过门就退回基于 outcome 的 GRPO 或直接 mask。
- 利用异步 pipeline 里空闲的 teacher 节点做 reliability probes：推荐系统离线训练中教师打分节点常因等学生 rollout 而闲置，把探针生成放在该窗口可把 GPU 利用率从不足 10% 拉到 70% 以上，end-to-end 时间开销仅约 6%。
- 硬路由优于信号插值：TGOPD 不使用加权混合 OPD 与 GRPO，避免不同密度、不同来源信号互相干扰。工程落地简单，且消融显示大部分收益来自屏蔽坏信号而非 fallback。
- 阈值设置从简：三探针两票通过（KT=3, τ=2/3）或多数投票即可，无需精细排序。对缺少精确 verifier 的开放域任务，可先用可自动判定的弱标签（如规则、分类器）验证，扩展受限时优先关注自信错误的高风险 prompt。
组校准在线策略蒸馏用于长上下文推理
🧭 知识蒸馏 · 长上下文推理
Tsinghua University · Beijing University of Posts and Telecommunications · OpenBMB
将 verifier 奖励与 OPD 分数做组内归一化并构造有符号残差，用相对优势分配回 token，提升长上下文蒸馏效果
📌 工作参考价值（3 点）
- 在业务中做 LLM 蒸馏或 RLVR 时，若同时有 dense token 监督和稀疏 verifier 奖励（如点击、转化、人工评分），可借鉴 group 内归一化再相减的方式，避免两种信号尺度差异和 sign 错位。
- RACA 的相对优势信用分配适合多步交互场景，例如购物 Agent 的多轮工具调用、对话式推荐的 multi-turn 轨迹，可将最终奖励按 token 优势权重回传，比均匀分配更稳定。
- 不丢弃 dense 教师似然、只做组校准残差微调的思路可复用到生成式推荐或 RAG 后训练：保留 Next Token 监督，同时注入结果导向的 verifier 信号。
基于变分学习的 RLVR 参数探索
🧭 LLM 强化学习 · 参数空间探索
INSAIT, Sofia University "St. Kliment Ohridski" · Technical University of Darmstadt · National Research Center for Applied Cybersecurity ATHENE
提出 3PO 方法族，通过采样多个策略参数实现参数空间探索，相比 GRPO 在相近 FLOPs 下持续提升 LLM 推理性能
📌 工作参考价值（4 点）
- 在基于 GRPO 的 RLVR 流程中（如训练生成式推荐/query 改写/对话 Agent），可引入参数空间探索：对 LoRA 权重采样多个扰动副本生成 rollouts，与温度采样互补，能缓解奖励信号稀疏导致的训练停滞。
- 借鉴 3PO 的分组奖励估计：将多个参数样本生成的 rollouts 分组计算优势，可减少零优势组，提升稀疏反馈（如点击/转化）下的训练信号利用率。
- 该方法在 near-identical FLOPs 下提升性能，适合业务场景有限的训练预算；可在现有 LoRA + RL 框架中低成本实现参数扰动，无需增加推理开销。
- 需注意：论文在数学/代码任务验证，迁移到推荐/搜索时需调整扰动强度与采样频率，并验证奖励函数（如延迟转化）下是否仍稳定。
开放大语言模型多语机器翻译的无参考后训练
🧭 LLM 多语翻译 · 强化后训练 ★ 深度解读
Xiaomi Inc.
用GRPO加语言门控无参考质量奖励与SFT-RL权重插值，46语翻译12B模型超越多个闭源系统
📌 工作参考价值（4 点）
- 无参考奖励设计：在缺乏成对标注的生成任务（商品文案、搜索query改写、Agent回复）中，可组合多个可学习质量模型打分，并用规则门控（目标语言/格式/长度）过滤无效高分，避免错误输出获得奖励。
- SFT-RL参数插值：训练完成后把SFT与RL权重按α线性混合，无需额外训练即可调节指标trade-off（如相关性 vs 多样性、BLEU vs 神经指标），推荐默认尝试α=0.5作为起点。
- RL数据筛选：对每个prompt采样一组rollout，只保留reward均值和标准差符合条件的样本，能显著提升GRPO训练信号效率，适合从线上日志或无标注语料构造后训练数据。
- 小模型继承大模型增益：用on-policy distillation可以接近RL+插值模型的性能，资源受限时可只对大模型做RL然后蒸馏到线上小模型。
自我参照在线策略自蒸馏：将 Rényi 散度引入 OPSD 稳定训练
🧭 On-policy self-distillation · Rényi divergence ★ 深度解读
Imperial College London · Peking University · University of Science and Technology of China · Shanghai University of Finance and Economics · Nanyang Technological University
通过参考锚定与 Rényi 投影解耦在线自蒸馏中的目标位置与投影几何，显著提升训练稳定性与多任务性能
📌 工作参考价值（4 点）
- 在 LLM 推理训练（如 GRPO/SDPO）中替代 KL 散度：当使用环境反馈或验证信号进行策略优化时，将目标构造为自我教师与参考策略的几何插值，并用 Rényi 散度（可调阶数 ρ）替换前向/反向 KL，能稳定策略熵、避免模式塌缩，尤其适用于需要输出多样性的推荐文案生成、搜索词改写等任务。
- 参控对反馈信息的依赖程度：超参数 α 控制目标中自我教师（基于反馈）与参考策略的比例，业务中可据此调节模型对用户点击/转化信号的信任度，避免在噪声反馈下过拟合。
- 冻结初始策略作为参考锚点：将预训练初始策略冻结作为参考，保证训练后模型不严重偏离原有能力，适合在线上推理链路中逐步部署，降低上线风险。
- Rényi 投影的密度比温度控制：ρ 参数可看作对教师-学生概率比的幂次调制，能在训练初期压制极高或极低比值的梯度影响，相当于一种自适应梯度裁剪，有助于在不稳定反馈环境下稳定训练。
一层就够了？训练单个Transformer层可匹配全参数RL训练
🧭 RL训练效率 · 层贡献分布
University of Minnesota · Peking University · Amazon
LLM的RL后训练增益高度集中于中间少数层，单层训练即可恢复甚至超越全参数训练效果
📌 工作参考价值（4 点）
- 在大模型推荐/Agent微调中，若使用RL（如GRPO），可优先仅更新中间层，训练参数量降至1/12~1/8，显存与时间成本大幅降低，效果不降甚至反升。
- 层贡献排名在跨任务、跨模型上高度稳定，可预先对模型做一次层贡献分析，固定高贡献层，后续微调任务均只更新这些层，实现轻量级多任务适配。
- 结合LoRA等参数高效方法时，不必在全层应用，可只在贡献值高的中间层插入适配器，减少可训练参数且保持性能。
- 对于需要部署多个RL微调变体（如个性化推荐策略）的场景，可训练不同层组合再集成，利用层特化提升综合决策质量。
基于最优系数校准的强化学习联合多Token预测
🧭 训练优化·多Token预测联合RL ★ 深度解读
中国科学院大学 · 中国科学院自动化研究所 · 美团
提出在线自适应系数调整方法OCC，通过log概率代理动态平衡RL与MTP梯度，使联合训练稳定超越detach基线
📌 工作参考价值（4 点）
- 辅助损失动态加权：在推荐模型联合训练主任务（如CTR）与辅助任务（如多样性、长尾覆盖）时，可借鉴OCC的廉价梯度对齐代理，在线校准辅助任务系数，避免固定权重导致的后期性能退化。
- 多步奖励预测的RL优化：在强化学习推荐或Agent策略优化中，若使用多步奖励预测头（类似MTP），可利用OCC思想根据梯度方向一致性自适应调节多步预测损失的权重，防止后期扰动损害主策略。
- 多目标策略梯度平衡：对于多Agent协作或联合策略学习，不同智能体的梯度可能存在冲突，可通过一阶相关与二阶扰动的分解分析有益与有害信号，动态分配更新强度，替代常规的固定比例调度。
- 轻量级实现：OCC仅需计算小批量内的log概率变化向量内积，无需全模型梯度，计算开销可忽略，易于在分布式训练框架中实现。